सिर्फ छह दिन में, प्रतिभागियों ने Anthropic के AI मॉडल Claude3.5 की सभी सुरक्षा उपायों को सफलतापूर्वक दरकिनार कर दिया, यह सफलता AI सुरक्षा की चर्चा में नए दृष्टिकोण लाई। पूर्व OpenAI संरेखण टीम के सदस्य, जो अब Anthropic में हैं, Jan Leike ने X प्लेटफॉर्म पर घोषणा की कि एक प्रतिभागी ने सभी आठ सुरक्षा स्तरों को सफलतापूर्वक तोड़ दिया। यह सामूहिक प्रयास लगभग 3,700 घंटे के परीक्षण और प्रतिभागियों की 300,000 संदेशों को शामिल करता है। हालाँकि, चुनौती देने वाले

आर्टिफिशियल इंटेलिजेंस कंपनी एनथ्रोपिक ने हाल ही में "संविधान वर्गीकर्ता" नामक एक नई सुरक्षा विधि विकसित करने की घोषणा की है, जिसका उद्देश्य भाषा मॉडल को दुर्भावनापूर्ण हेरफेर से बचाना है। यह तकनीक विशेष रूप से "सामान्य जेलब्रेक" के खिलाफ लक्षित है - एक ऐसा इनपुट तरीका जो सभी सुरक्षा उपायों को व्यवस्थित रूप से बायपास करने का प्रयास करता है, ताकि एआई मॉडल हानिकारक सामग्री उत्पन्न न करें। इस तकनीक की प्रभावशीलता को सत्यापित करने के लिए, एनथ्रोपिक ने बड़े पैमाने पर परीक्षण किया। कंपनी ने 183 प्रतिभागियों की भर्ती की, जिन्होंने दो महीनों के भीतर उसके रक्षा प्रणाली को तोड़ने की कोशिश की। प्रतिभागियों को इनपुट के माध्यम से